Karl và Isabella có tổng cộng 6 người con, tuy nhiên, chỉ có ba người sống đến tuổi trưởng thành:

Do Felipe II là cháu ngoại của Manuel I của Bồ Đào Nha thông qua mẹ ông nên ông nằm trong danh sách một trong những có thể kế tục ngai vàng Bồ Đào Nha. Ông đã tuyên bố điều này sau cái chết của cậu là Henry I của Bồ Đào Nha Henrique, Vua Hồng Y trong năm 1580 và qua đó đó thành lập nên Liên minh Iberia.

Karl còn có 4 đứa con ngoài giá thú:

• Margherita của Áo (1522 – 1586), con gái của Johanna Maria van der Gheynst, là một người hầu của Charles I de Lalaing, Seigneur de Montigny và là con gái của Gilles Johann van der Gheynst và vợ Johanna van der Caye van Cocamby. Ban đầu kết hôn với Alessandro de' Medici, Công tước Firenze và lần hai với Ottavio Farnese, Công tước Parma.
• Joanna của Áo (1522 – 1530), con gái của 1 phụ nữ quyền quý từ Nassau.
• Tadea của Áo (1523? – kh. 1562), con gái của Orsolina della Penna. Về sau kết hôn với Sinibaldo di Copeschi.
• Don Juan de Austria (1547 – 1578), con trai của Barbara Blomberg, người chiến thắng trong trận Lepanto

Nhiều sử gia cũng cho rằng, ông còn là cha của Isabella của Castilla, con riêng của Germaine de Foix, vợ bé của Fernando của Aragon, ông ngoại của Karl.

• Margherita của Parma
• Juan của Áo